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L'invention concerne un proc§d6 de compression de donn6es 
numeriques d'une sequence video composee de plans alternes, ^ partir de 
"sprites", et un dispositif pour sa mise en ceuvre. Elle se situe dans le 
5 contexte general de la compression video, en particulier dans celui de la 
norme MPEG-4 video. 

Le terme "sprite" est defini par exemple dans la norme MPEG 
4. 11 s'agit d'un objet video (VOP, acronyme de I'anglais Video Object Plane), 

10 generalement de dimension superieure a la video affichee, et persistant avec 
le temps. II est utilise pour representer des zones plus ou moins statiques, 
telles que des arrieres-plans. II est code a partir d'un decoupage par 
macroblocs. Par la transmission d'un sprite representant Tarriere-plan 
panoramique et par le codage des parametres de mouvement decrivant le 

15 mouvement de la camera, parametres representant par exemple la 
transform6e afRne du sprite, il est possible de reconstruire des. images 
consecutives d'une sequencer partir de ce sprite unique. , ; 

L'invention concerne en particulier les sequences video 
20 comprenant une succession de plans generes de fagon alternative a partir de 
points de vue similaires. II peut par exemple s'agir d'une sequence 
d'interview, ou Ton volt de fa?on altemative I'interviewer et Tinterviewe, 
chacun sur un arriere-plan different mais en grande partie statique. Cette 
alternance n'est pas iimitee a deux points de vue differents. La sequence 
25 peut etre composee de N plans, issus de Q points de vue differents. 

Les codages de type classique ne prennent pas en compte ce 
type de sequence et le cout de codage ou le taux de compression est done 
equivalent a celui d'autres sequences. L'approche classique consiste en 

30 effet, en chaque debut de plan, a coder une image en mode intra, a laquelle 
succedent des images en mode pr§dictif. Si un plan issu d*un. premier point 
de vue apparalt une premiere fois, suivi d'un plan issu d'un autre point de 
vue, suivi d*un plan issu du premier point de vue, la premiere image de ce 
plan est codee integraiement en mode intra meme si une grande partie, 

35 constituee de I'arriere-plan de la scene film6e, est similaire aux images du 
premier plan. Ceci induit un coOt de codage important. 
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Une solution connue a ce probteme de re-encodage d'un 
arriere-plan deja apparu anterieurement consiste a memoriser, a chaque 
detection de changement de plan, la derniere image d'un plan. Au debut d'un 
nouveau plan, la premiere image est codee par prediction temporelle ayant 
5 pour reference, parmi les images memorisees, celle qui iui ressemble le plus 
et qui correspond done A un m§me point de vue. Une telle solution peut etre 
consideree comme s^inspirant directement d'un outil connu sous le nom 
anglais de "multi-frame referencing", disponible par exemple dans le 
standard MPEG-4 partie 10 en cours de developpemenl Une telle solution 
10 est cependant consommatrice en memoire» difficile de mise en oeuvre et 
couteuse. 

Uinvention a pour but de pallier les inconvenients pr^cites. Elle 
a pour objet un precede de compression de donnees numeriques d'une 
15 sequence video, caracterise en ce qu'il comporte les etapes suivantes : 

- une segmentation de la sequence en plans alternes video, 

- une classification de ces plans en fonction de points de vue 
pour obtenir des classes, 

- une construction d'un sprite ou plan objet video pour une 
20 classe qui est une image composee correspondent a I'arriere plan relatif a 

cette classe, 

- un regroupement d'au moins deux sprites sur un m§me sprite 
ou plan objet vid§o pour former une image appelee grand sprite. 

- une extraction, pour les plans correspondant au grand sprite, 
25 d'objets d'avant-plan d'images de la sequence relatives c» ces plans, 

- un codage s6pare du grand sprite et des objets d'avant-plan 

extralts. 

Selon une mise en oeuvre particulidre, les sprites sont places 
Tun sous Tautre pour construire le grand sprite. 
30 Selon une mise en oeuvre particuliere, ie positionnement des 

sprites est calcule en fonction du coQt de codage du grand sprite. 

Le codage exploite est par exemple le codage MPEG-4, le 
grand sprite etant alors code conformement aux sprites definis dans la norme 
MPEG-4. 

35 Selon une mise en oeuvre particuliere, le precede realise une 

operation de multiplexage (8) des donnees relatives aux objets d'avant-plan 
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extraits et des donnees relatives au grand sprite pour fournir un flux de 
donnees. 

L'invention concerne egalement le flux de donnees comprimees 
pour le codage d'une sequence d'images selon le precede precedemment 
decrit, caracterise en ce qu'il comporte des donnfees de codage du grand 
sprite associees a des parametres de deformation applicables au grand 
sprite et des donnees de codage des objets d'avanl-plan extraits. 

L'invention concerne Egalement un codeur pour le codage des 
donnees selon le precede precedemment decrit, caracterise en ce qu'il 
comporte un circuit de traitement pour la classification des sequence en 
plans, la construction d'un sprite pour chaque classe et la composition d'un 
grand sprite par concatenation de ces sprites, un circuit d'extraction d'objets 
d'avant-plan d'images de la sequence relatives au grand sprite et un circuit 
de codage pour le codage du grand sprite et des objets d'avant-plan extraits. 

L'invention concerne egalement un decodeur pour le decodage 
de donnees video d'une sequence video comportant des plans alternes selon 
le proc6d6 precedemment decrit, caract6ris6 en ce qu'il comporte un circuit 
de.d6codage de donnees relatives d un grand sprite et de donnees relatives 
A des objets d'avant-plan et un circuit de construction d'images a partir des 
donn6es decodees. 

Le sprite est utilise pour decrire Tarriere-plan de i'ensemble des 
plans vid^o issus d'un meme point de vue. Ce sprite est code une seule fois. 
Ensuite, pour chaque image de ces plans video, le processus consiste a 
coder les parametres de deformation a appliquer au sprite pour reconstruire 
ce qui est pergu de I'arriere-plan dans Vimage, Les objets de premier-plan 
sont. quant a eux, codes comme des objets video ou VOPs (Video Object 
Plan) non rectangulaires. Au decodage, ces VOPs sont composes avec 
I'image de Tarriere-plan pour obtenir Timage finale. Comme la sequence 
comporte des plans issus de plusieurs points de vue, plusieurs sprites sont 
necessaires. Une mise en oeuvre particuliere de l'invention consiste a 
concatener ces differents sprites en un seul grand sprite qui resume alors les 
differents arriere-plans de la sequence video complete. 

Grace a rinvention. le re-encodage de Tan-iere-plan, a chaque 
reapparition de cet arriere-plan, est evite, Le coOt de compression de ce type 
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de sequences vid6o est reduit par rapport a un schema de codage classique 
' de type MPEG-2 ou H.263. 

D'autres particularites et avantages apparaitront clairement 
5 dans la description suivante donnee a titre d'exemple non limitatif, et faite en 
regard des figures annex6es qui repr§sentent: 

- la figure 1 , un organigramme d'un proc6de de codage selon 

rinvention, 

- la figure 2, Tintegration d'un sprite dans un grand sprite. 

10 - la figure 3, des blocs d'un sprite en bordure haute et basse 

d'un grand sprite, 

- la figure 4, un bloc courant dans son environnement pour le 
codage par prediction DC/AC. 

15 La figure 1 represente un organigrannme sinnplifie d'un procede 

de codage selon Tinvention. Ce procede se scinde en deux phases 
principals: une phase d'analyse et une phase de codage. 

La phase d*analyse comprend une premiere 6tape 1 qui est une 
etape de segmentation de la sequence vid6o en plans. Une deuxieme etape 

20 2 realise une classification des plans selon le point de vue dont ils sont issus. 
Une classe est definie comme un sous-ensemble de plans issus d'un meme 
point de vue. La troisieme etape effectue la construction d'un sprite 
"resumant" I'arriere-plan visible dans les plans du sous-ensemble, ceci pour 
chacun des sous-ensembles. Pour chaque image de chaque plan du sous- 

25 ensemble, des paramfetres de deformation, permettant de reconstruire a 
partir du sprite ce qui est per?u de I'arriere-plan, sont aussi calcules. Une 
etape de segmentation d'image 4 effectue une segmentation pour chaque 
image des differents plans, segmentation dans le but de distinguer I'arriere- 
plan de I'avant-plan. Cette etape permet d'extraire des objets d'avant-plan de 

30 chaque image. Uetape 5 est effectu^e parallelement a I'etape 4 et succede 
done a Tetape 3. Elle consiste en une concatenation des differents sprites en 
un seul grand sprite, avec mise a jour des parametres de deformation 
prenant en compte la position de chaque sprite dans le grand sprite. 

La phase de codage succede a la phase d'analyse. Les eta pes 

35 6 et 7 succedent respectivement aux etapes 4 et 5 et generent 
respectivement un train binaire video codant Tavant-plan et un train binaire 
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video codant le grand sprite. Ces trains binaires sent ensuite multiplexes a 
Tetape 8 pour fournir le train de codage vid6o. 

L'etape 1 de segmentation en plans effectue une decoupe de la 
sequence en plans video en comparant les images successives, par exemple 
5 en exploitant un algorithme de detection de changement de plans. L'etape 2 
de classification compare les differents plans obtenus, a partir de leur 
contenu, et regroupe dans une m§me classe les plans similaires, c'est a dire 
issus d'un point de vue identique ou proche. 

Uetape 4 realise une extraction des objets d'avant-plan. Des 

10 masques binaires successifs sont calcules distinguant, pour chaque image 
de la sequence video, rarriere-plan de I'avant-plan. A Tissue de cette etape 
4, on dispose done, pour chaque plan, d'une succession de masques, 
binaires ou non, indiquant les parties de Tavant-plan et de Tarriere-plan. Dans 
le cas d'un traitement non binaire, le masque correspond en fait ^ une carte 

15 de transparence. 

La concatenation des sprites en un grand sprite effectuep a 
l'etape 5 peut etre realisee de manlere a minimiser le cout de codage de ce 
gr^nd sprite comme propose ci-dessous. Les informations de codage sont, 
entre autres, les informations de texture et les informations de deformation. 

20 Ces dernieres informations sont par exempie les parametres de deformation 
successifs qui sont applicables sur le grand sprite, en fonction du temps, et 
qui sont mises a jour lors de la generation du grand sprite. Ce sont en effet 
ces paramdtres de transformation qui, appliques au grand sprite, permettront 
de construire et mettre d jour les fonds necessaires aux differents plans. Ces 

25 informations de codage sont transmises a l'etape 7 pour permettre la 
generation du train binaire grand sprite. 

Dans notre realisation, deux trains binaires sont generes, Tun 
codant le grand sprite et I'autre codant I'ensemble des objets de I'avant-plan 
regroupes en un seul objet. Ces trains binaires sont ensuite multiplexes a 

30 l'etape 8. Dans la norme r\/IPEG-4, un flux elementaire est genere par objet. II 
est done tout aussi envisageable de transmettre plusieurs flux 6l6mentaires 
ou de ne pas effectuer de multiplexage avec le flux relatrf au grand sprite 
pour la transmission des donnees codees. 

On remarquera que l'etape 4 d'extraction des objets est en fait 

35 tres correlee a Tetape prec6dente de construction d'un sprite, aussi peut-elle 
§tre effectu6e simultan^ment, voire meme ant6rieurement, a la precedente. 
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Egalement, les operations aux 6tapes 5 et 7 qui sont decrites en parallels 
des operations aux etapes 4 et 6, peuvent etre effectuees successivement 
ou anterieurenfient a oes etapes 4 et 6. D'autre part, certaines etapes 
d'analyse. par exemple celle d'extraction des objets. peuvent etre evitees 
5 dans le cas ou Ton dispose d'une description de contenu de type MPEG-T du 
document video a coder. 

Comme indique precedemment, la concatSnation peut se faire 
en cherchant a minimiser le coQt de codage du grand sprite.. Cela peut porter 
sur trois points: la texture, la forme, si elle existe, les paran^ietres de 

10 deformation successifs. Cependant le critere preponderant est le cout de 
codage de la texture. 

Une methode de minimisation de ce cout est donnee ci-apres 
dans un mode de realisation exploitant la norme MPEG-4 et effectuant un 
assemblage des sprites de maniere simple, c'est a dire en les superposant 

15 horizontalement, methode qui s^appuie sur le fonctionnement de I'outil de 
prediction spatiale DC/AC de MPEG-4. Dans le cadre de la norme MPEG-4, 
la prediction spatiale se fait horizontalement ou veriicalement Elle porte de 
fafon systematique sur le premier coefficient DCT de chaque bloc (mode 
"DC prediction" en anglais dans la nomie) et peut aussi, de maniere 

20 optionnelle. porter sur les autres coefficients DCT de la premiere ligne ou 
premiere colonne de chaque bloc (mode "AC prediction"). II s'agit de 
determiner la position optimale de concatenation, c'est a dire de rechercher 
le minimum de cout de codage de la texture par un assemblage de sprites 
voisins presentant sur leurs bords mutuels une continuite de texture. 

25 Le grand sprite est initialise par le sprite le plus large. Ensuite, 

un nouveau grand sprite est calcule integrant le sprite le plus large parmi les 
sprites restants, c'est a dire le deuxieme sprite le plus large. La figure 2 
represente un grand sprite 9 et un deuxieme grand sprite 10 a integrer pour 
obtenir le nouveau grand sprite, c'est a dire a positionner par rapport au 

30 sprite 9. 

La figure 3 repr6sente le sprite 10 de forme rectangulaire et 
plus particulierement la succession de macroblocs 1 1 en bordure haute et la 
succession de macroblocs 12 en bordure basse du sprite. Les macroblocs du 
sprite pris en compte sont les macroblocs non vides adjacents de la bordure 
35 haute lorsque le sprite est place sous le grand sprite puis de la bordure 
• basse lorsque le sprite est plac6 au dessus du grand sprite'. Dans le cas ou 
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le sprite n'est pas rectangulaire, seuls les macroblocs non vides en bordure 
haute et basse du rectangle englobant ce sprite sont pris en compte. Les 
macroblocs vides sont ignores. 

Une transformation cosinus discrete DCT est effectuee sur les 
macroblocs pris en compte (ou blocs luminance des macroblocs). c'est a dire 
les macroblocs ou blocs non vides en bordure haute et basse des differents 
sprites. Les positions haute et basse optimales sont ensuite calculees en 
minimisant un critere de continuite des textures a la frontiere des deux 
sprites. 

Pour une position donnee (X.Y) du sprite 10 a integrer dans le 
grand sprite 9 precedemment calculi, position definie par des coordonn6es 
(X,Y), une mesure d'un critere global C(X,Y) est calculee. Les positions (X.Y) 
sont par exemple les coordonnees du coin inferieur gauche du sprite 
superieur a integrer ou les coordonnees du coin superieur gauche du sprite 
inferieur a integrer, I'origine etant definie a partir d'un point predetermine du 
grand sprite. Les coordonnees (X,Y) sont limitees dans la mesure ofi; I'on 
n'autorise pas le sprite ^ deborder du grand sprite. 

Pour cette position donn6e {X,Y) et pour toutes les positions 
testSes, on va avoir N blocs voisins avec le grand sprite, soit situes au- 
dessus, soit en-dessous. De ces 2 lignes de blocs voisins, c'est a dire celle 
appartenant au grand sprite et celle appartenant au sprite a integre^r. on 
considere la ligne des N blocs du dessous. Pour chaque bloc Bk de ces N 
blocs, on determine d'abord quelle sera la direction probable de la prediction 
DC/AC. 

La figure 4 represente un bloc courant et les blocs 
environnants, bloc A a sa gauche, bloc B au dessus de A et bloc C au 
dessus du bloc courant. Comme le fait un outil de prediction spatiale DC/AC 
classique, on determine les gradients des coefficients DC entre les blocs A et 
B, 1 DCa-DCb I , et entre les blocs C et B, I DCc-DCb I . S11 n'y a pas de bloc 
voisin A, B ou C. le coefficient DC est pris par d6faut egal a 1024. 

Si 1 DCa-DCb I < 1 DCc-DCb I, la prediction DC/AC 
s'effectuera probablement dans le sens vertical. On va done determiner pour 
le bloc courant le residu de sa premiere ligne correspondant a la prediction 
verticale a partir de la premiere ligne du bloc du dessus C. 

Si IdCa-DCbI ^ IdCc-DCbK la prediction DC/AC 
s'effectuera probablement dans le sens horizontal. On va done d^tenniner 
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pour le bloc courant le residu de sa premiere colonne correspondant a la 
prediction horizontale a partir de la premiere colonne du bloc de gauche A. 

On calcule ensuite I'energie des coefficients AC r§siduels, c'est 
a dire avec prediction, de la premiere ligne ou premiere colonne, selon la 
5 direction de prediction probable: 

i-t 

AACi correspondant au residu. c'est ^ dire ^ la difference entre 
les 7 coefficients AC de la premiere ligne ou premiere colonne du bloc 
courant et les 7 coefficients AC de la premiere ligne ou colonne 
0 respectivemert du bloc superieur ou du bloc a gauche du bloc courant. 

On calcule egalement l'§nergie des coefficients AC bruts, c'est- 
^-dire avant prediction : 

7 



0 



1=) 



ACi correspondant aux 7 coefficients AC de la. premiere ligne ou 
premiere colonne du bloc courant. 

On cherche a determiner la position, pour un bloc courant, qui 
permet d'avoir la plus faible energie. U6nergie. pour la partie qui varie en 
fonction de la position du bloc, depend de ADC et 6ventuellement des AAC 
s'il y a prediction. El!e est 6gale 

- lorsqu'il y a prediction DC/AC, c'est a dire si EAc_pred < EAc_brut,: 

E(Bk) = ADc2+£(AACi)2 



-lorsqu'il n'y a pas prediction DC/AC. c'est d dire si Eac pred > Eac bmi • 

E(B,) = ADC' 

Le calcul est affectum pour chacun des blocs N de la ligne et le 
critere C, pour une position donnee. est alors egal a: 

La position optimale (Xopt.Yopt) est celle qui minimise C(X.Y) sur 
I'ensemble des positions test6es. 

Une fois determine le sprite ^ integrer et sa position dans le 
grand sprite, les paramdtres de deformation du sprite a integrer sont mis a 
jour. Pour ce faire, il est ajoute § la composante translatlonnelle de ses 
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parametres de deformation, les coordonnees (Xopt,Yopt) du point a partir 
duquel le nouveau sprite est int§gre dans le grand sprite. Dans le cas d'un 
modele affme. on a 6 parametres de deformation (a,b,c,d,e,f). dont 2, a et b. 
caracterisent la composante translationnelle ou constante de la deformation. 
II faut done transformer a en a+Xopt. et b en b+Yopi- 

Les nouveaux parametres de deformation sont inseres dans la 
liste des parametres de defonnatian du grand sprite, a Tendroit ou 
temporellement le plan correspondant s'insere dans la sequence video. 

Une fois la concatenation termin6e, on dispose 

- d'un grand sprite au lieu de plusieurs sprites 

- d'une seule liste de parametres de d6fomiation. au lieu 
de plusieurs listes correspondant aux differents plans de la sequence 
video. 

Les parametres de deformation successifs permettent de 
reconstruire, pour cliaque image de la sequence video, ce qui est per$u de 
rarri6re-plan a partir du grand sprite. 

Le codage peut etre effectue en realisant une passe de. pre- 
analyse de la sequence video suivie d'une passe de codage s'appuyant sur 
cette analyse. 

Dans le cas sp6cifique de la norme MPEG-4, le codage 
consiste a generer un train binaire en utilisant Toutil de codage sprite (cf. 
partie 7,8 du document ISO/IEC JTC 1/SC 29/WG 11 N 2502, p.189 a 195). 
Le second train binaire se base sur les outits de codage d'objets non 
rectangulaires, en particulier I'outil de codage de la forme binaire (cf. partie 
7.5 du document ISO/IEC JTC 1/SC 29/WG 11 N 2502. p.147 ^ 158), et 
eventuellement en plus Toutil de codage de la transparence (« grey shape » 
en anglais, cf. partie 7.5.4 du document ISO/IEC JTC 1/SC 29/WG 11 N 
2502, p. 160 a 162) si les masques ne sont pas binaires. 

Uinvention concerne egalement les flux de donnees 
comprimees resultant du codage d'une sequence d'images selon le proc§de 
precedemment decrit. Ce flux comporte des donn6es de codage du grand 
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sprite associees d des parametres de deformation applicables au grand 
sprite et des donnees de codage des objets des avant-plans pour la 
reconstruction des scenes. 

L'invention concerne egalement les codeurs et decodeurs 
5 exploitant un tel procede. II s'agit par exemple d'un codeur comportant un 
circuit de traitement pour la classification des sequence en plans, la 
construction d'un sprite pour chaque classe et la composition d'un grand 
sprite par concatenation de ces sprites. II s'agit aussi d'un decodeur 
comportant un circuit de construction d'images de plans altern6s d'une 
10 sequence video a partir du decodage de grands sprites et d'objets d'avant 
plans- 

Les applications de Tinvention concernent la transmission et le 
stockage d'images numerlques utilisant des normes de codage video avec 
15 exploitation de sprites, en particulier la norme MPEG4. 
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REVENDICATIONS 

1 Precede de compression de donnees numeriques d'une 
sequence video, caracterise en ce qu'il comporte les etapes suivantes : 

5 - une segmentation (1) de la sequence en plans alternes video, 

- une classification (2) de ces plans en fonction de points de 
vue pour obtenir des classes, 

- une construction d*un sprite (3) ou plan objet video pour une 
classe qui est une image composee correspondant a Tarriere plan relatif ^ 

10 cette classe, 

- un regroupement (5) d'au moins deux sprites sur un meme 
sprite ou plan objet vid6o, pour former une image appelee grand sprite, 

- une extraction (4), pour les plans correspondant au grand 
sprite, d'objets d'avant-plan damages de la sequence relatives a ces plans, 

15 - un codage separ6 du grand sprite et des objets d'avant-plan 

extraits. 

2 Proced6 selon la revendication 1, caract6ris6 en ce que les 
sprites sont places Tun sous I'autre (5) pour construire le grand sprite. 

20 

3 Precede selon la revendication 2, caracterise en ce que le 
positionnement des sprites est calcule en fonction du cout de codage du 
grand sprite. 

25 4 Procede selon la revendication 1, caracterise en ce que le 

grand sprite est un sprite tel que defini et code dans la norme MPEG4. 

5 Procede selon la revendication 1, caracterise en ce qu'il 
realise une operation de multiplexage (8) des donnees relatives aux objets 

30 d*avant-plan extraits et des donn§es relatives au grand sprite pour fournir un 
flux de donnees. 

6 Flux de donnees comprimees pour le codage d'une sequence 
d*images selon le procede de la revendication 1, caracteris6 en ce qu'il 

35 comporte des donnees de codage du grand sprite associees ^ des 
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param^tres de deformation applicables au grand sprite et des donnees de 
codage des objets d'avant-plan extraits. 

7 Codeur pour le codage des donnees selon le procede de la 
5 revendication 1, caracterise en ce qu'il comporte un circuit de traitement pour 

la classification des sequence en plans, la construction d'un sprite pour 
chaque classe et la composition d*un grand sprite par concatenation de ces 
sprites, un circuit d'extraction d'objets d'avant-plan d'images de la sequence 
relatives au grand sprite et un circuit de codage pour le codage du grand 
1 0 sprite et des objets d'avant-plan extraits. 

8 Decodeur pour le decodage de donnees video d'une 
sequence vid6o comportant des plans alternes selon le procede de la 
revendication 1 , caracterise en ce qu'il comporte un circuit de decodage de 

15 donnees relatives a un grand sprite et de donnees relatives a des objets 
d'avant-plan et un circuit de construction damages a partir des donnees 
decodees. 
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